降低策略梯度方法方差的梯度估计器已成为近年来增强学习研究的主要重点之一，因为它们允许加速估算过程。我们提出了一种称为Sharp的方差降低的策略梯度方法，该方法将二阶信息纳入随机梯度下降（SGD）中，并使用动量和时间变化的学习率。 Sharp Algorithm无参数，实现$ \ Epsilon $ - Appro-Appro-Approximate固定点，带有$ O（\ Epsilon^{ - 3}）$的轨迹数，同时使用批量的大小为$ O（1）$迭代。与以前的大多数工作不同，我们提出的算法不需要重要的抽样，这可能会损害降低方差的优势。此外，估计错误的差异会以$ o（1/t^{2/3}）$的快速速率衰减，其中$ t $是迭代的数量。我们广泛的实验评估表明，拟议算法对各种控制任务的有效性及其对实践中最新状态的优势。

Speech-driven 3D facial animation has been widely explored, with applications in gaming, character animation, virtual reality, and telepresence systems. State-of-the-art methods deform the face topology of the target actor to sync the input audio without considering the identity-specific speaking style and facial idiosyncrasies of the target actor, thus, resulting in unrealistic and inaccurate lip movements. To address this, we present Imitator, a speech-driven facial expression synthesis method, which learns identity-specific details from a short input video and produces novel facial expressions matching the identity-specific speaking style and facial idiosyncrasies of the target actor. Specifically, we train a style-agnostic transformer on a large facial expression dataset which we use as a prior for audio-driven facial expressions. Based on this prior, we optimize for identity-specific speaking style based on a short reference video. To train the prior, we introduce a novel loss function based on detected bilabial consonants to ensure plausible lip closures and consequently improve the realism of the generated expressions. Through detailed experiments and a user study, we show that our approach produces temporally coherent facial expressions from input audio while preserving the speaking style of the target actors.

Several face de-identification methods have been proposed to preserve users' privacy by obscuring their faces. These methods, however, can degrade the quality of photos, and they usually do not preserve the utility of faces, e.g., their age, gender, pose, and facial expression. Recently, advanced generative adversarial network models, such as StyleGAN, have been proposed, which generate realistic, high-quality imaginary faces. In this paper, we investigate the use of StyleGAN in generating de-identified faces through style mixing, where the styles or features of the target face and an auxiliary face get mixed to generate a de-identified face that carries the utilities of the target face. We examined this de-identification method with respect to preserving utility and privacy, by implementing several face detection, verification, and identification attacks. Through extensive experiments and also comparing with two state-of-the-art face de-identification methods, we show that StyleGAN preserves the quality and utility of the faces much better than the other approaches and also by choosing the style mixing levels correctly, it can preserve the privacy of the faces much better than other methods.

This paper proposes embedded Gaussian Process Barrier States (GP-BaS), a methodology to safely control unmodeled dynamics of nonlinear system using Bayesian learning. Gaussian Processes (GPs) are used to model the dynamics of the safety-critical system, which is subsequently used in the GP-BaS model. We derive the barrier state dynamics utilizing the GP posterior, which is used to construct a safety embedded Gaussian process dynamical model (GPDM). We show that the safety-critical system can be controlled to remain inside the safe region as long as we can design a controller that renders the BaS-GPDM's trajectories bounded (or asymptotically stable). The proposed approach overcomes various limitations in early attempts at combining GPs with barrier functions due to the abstention of restrictive assumptions such as linearity of the system with respect to control, relative degree of the constraints and number or nature of constraints. This work is implemented on various examples for trajectory optimization and control including optimal stabilization of unstable linear system and safe trajectory optimization of a Dubins vehicle navigating through an obstacle course and on a quadrotor in an obstacle avoidance task using GP differentiable dynamic programming (GP-DDP). The proposed framework is capable of maintaining safe optimization and control of unmodeled dynamics and is purely data driven.

大型语言模型（例如GPT-3（Brown等，2020）可以执行任意任务，而无需在仅使用少数标签示例的提示之后进行微调。可以将任意任务重新构成自然语言提示，并且可以要求语言模型生成完成，并以称为基于及时的学习的范式间接执行该任务。迄今为止，主要针对单向语言模型证明了新兴迅速的学习能力。但是，预先培训的双向语言模型（例如蒙版语言建模）为转移学习提供了更强大的学习表示。这激发了促使双向模型的可能性，但是它们的预训练目标使它们与现有的提示范式不相容。我们提出SAP（顺序自动回旋提示），该技术可以使双向模型提示。利用机器翻译任务作为案例研究，我们提示了带有SAP的双向MT5模型（Xue等，2021），并演示其少量拍摄和零照片的翻译优于GPT-3等单向模型的几个单拍翻译和XGLM（Lin等，2021），尽管MT5的参数减少了约50％。我们进一步表明SAP对问题的回答和摘要有效。我们的结果首次表明基于及时的学习是更广泛的语言模型的新兴属性，而不仅仅是单向模型。

分散的SGD（D-SGD）跨多个计算机（又称{\ em Nodes}）分发了繁重的学习任务，将每个节点的工作负载除以系统的大小。但是，少数\ emph {byzantine}（即，行为不当）节点会危及整个学习过程。当系统为\ emph {异步}时，此漏洞将进一步扩大。尽管已经提出了赋予拜占庭式弹性的方法，但这些方法显着影响该过程的效率，甚至否定了权力下放的好处。这自然提出了一个问题：\ emph {可以同时享受拜占庭式的弹性和每个节点的工作量减少？}我们通过提出\ newalgorithm {}来确保拜占庭式弹性而不会失去D-SGD的计算效率来积极回答。本质上，\ newalgorithm {}通过使用\ emph {polyak的动量}减少本地更新中的差异来削弱拜占庭节点的影响。然后，通过通过{\ em签名的Echo广播}和{\ em最近的邻平均}方案建立节点之间的协调，我们有效地耐受拜占庭节点，同时在非拜桑丁节点之间分布开销。为了证明我们的算法的正确性，我们介绍和分析了一个新颖的{\ em lyapunov函数}，该函数是由动量使用而产生的{\ em non-markovian模型漂移}。我们还通过对几个图像分类任务进行实验来证明\ newalgorithm {}的效率。

我们提出了一种两阶段的培训方法，用于开发单个NMT模型，以翻译英语和英语的看不见的语言。对于第一阶段，我们将编码器模型初始化以鉴定XLM-R和Roberta的权重，然后对25种语言的平行数据进行多种语言微调。我们发现该模型可以推广到对看不见的语言的零击翻译。在第二阶段，我们利用这种概括能力从单语数据集生成合成的并行数据，然后用连续的反向翻译训练。最终模型扩展到了英语到许多方向，同时保持了多到英语的性能。我们称我们的方法为ecxtra（以英语为中心的跨语言（x）转移）。我们的方法依次利用辅助并行数据和单语言数据，并且在概念上很简单，仅在两个阶段都使用标准的跨熵目标。最终的ECXTRA模型对8种低资源语言的无监督NMT进行了评估，该语言为英语至哈萨克语（22.3> 10.4 bleu）以及其他15个翻译方向的竞争性能而获得了新的最先进。

我们建议在没有观察到的变量的情况下，提出基于订购的方法，用于学习结构方程模型（SEM）的最大祖先图（MAG），直到其Markov等效类（MEC）。文献中的现有基于订购的方法通过学习因果顺序（C-order）恢复图。我们提倡一个名为“可移动顺序”（R-rorder）的新颖订单，因为它们比结构学习的C端口有利。这是因为R-orders是适当定义的优化问题的最小化器，该问题可以准确解决（使用强化学习方法）或大约（使用爬山搜索）。此外，R-orders（与C-orders不同）在MEC中的所有图表中都是不变的，并将C-orders包括为子集。鉴于一组R-orders通常明显大于C-orders集，因此优化问题更容易找到R级而不是C级。我们评估了在现实世界和随机生成的网络上提出的方法的性能和可伸缩性。

在医学中，图像注册对于图像引导的干预措施和其他临床应用至关重要。但是，很难解决，通过机器学习的出现，最近在该领域的医疗图像注册方面已经取得了很大的进步。深度神经网络的实施为某些医学应用提供了机会，例如在更少的时间内进行图像注册，以高精度，在操作过程中对抗肿瘤中发挥关键作用。当前的研究对基于无监督的深神经网络的医学图像注册研究的最新文献进行了全面的范围审查，其中包括到本领域在此日期中发表的所有相关研究。在这里，我们试图总结医学领域中无监督的基于深度学习的注册方法的最新发展和应用。在当前的全面范围审查中，精心讨论和传达了基本和主要概念，技术，从不同观点，新颖性和未来方向的统计分析。此外，这篇评论希望帮助那些被这一领域铆接的活跃读者深入了解这一激动人心的领域。

在本文中，引入了两种半监督外观循环闭合检测技术，HGCN-FABMAP和HGCN弓。此外，还提出了对艺术本地化的当前状态的扩展。提出的HGCN-FABMAP方法是以离线方式实施的，该方法结合了贝叶斯概率模式进行循环检测决策。具体而言，我们让双曲线图卷积神经网络（HGCN）在冲浪中运行，并在SLAM过程中执行矢量量化部分。先前使用HKMeans，Kmeans ++等算法以无监督的方式进行此部分。使用HGCN的主要优点是它在图形边数的数量上线性缩放。实验结果表明，HGCN-FABMAP算法比HGCN-ORB需要更多的簇质心，否则无法检测到环的封闭。因此，我们认为HGCN-ORB在记忆消耗方面更有效率，同样，我们得出了HGCN-BOW和HGCN-FABMAP相对于其他算法的优越性。